จากการสันนิษฐานว่า วัดแคเป็นวัดที่อยู่ในสมัยอยุธยา เพราะมีชื่อปรากฏอยู่ในเสภา ขุนช้างขุนแผน สมเด็จกรมพระยาดำรงราชานุภาพ ทรงสันนิษฐานว่าเป็นเรื่องจริงที่อยู่ในสมัยอยุธยา ในราวสมัยสมเด็จพระบรมราชาธิราชที่ 2 (เจ้าสามพระยา) นอกจากนี้ยังมีหลักฐานโบราณวัตถุเช่น พระพุทธรูปในวิหารเก่า กรมการศาสนาระบุว่า สร้างเมื่อปี พ.ศ. 2034 ใน ขุนช้างขุนแผน มีการกล่าวถึง วัดแคอยู่หลายตอนด้วยกัน เป็นวัดที่ขุนแผนได้มาเรียนวิชาเสก ใบมะขามเป็นตัวต่อ–ตัวแตนกับสมภารคง ภายในวัดยังมีต้นมะขามยักษ์ ขนาดใหญ่ 9 คนโอบ หรือประมาณ 10 เมตร อายุกว่าร้อยปี มีความเชื่อว่าเป็นต้นเดียวกับที่สมภารคง ได้ใช้สอนวิชาเสกใบมะขามเป็นตัวต่อตัวแตนให้สามเณรแก้วหรือขุนแผน

เมื่อครั้งมาจำพรรษาอยู่ที่วัดแคนี้ จังหวัดสุพรรณบุรีได้สร้างเรือนไทยทรงโบราณเรียกว่า คุ้มขุนแผน ไว้ใกล้กับต้นมะขามยักษ์นี้ ต่อมาเมื่อวันที่ 4 สิงหาคม พ.ศ. 2447 พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวเสด็จประพาสต้น จังหวัดสุพรรณบุรี เสด็จประทับที่ท่าน้ำวัดแค เพื่อเสวยพระกระยาหารกลางวัน[1] พระองค์ได้ถวายตู้หนังสือไม้สักแด่ พระภิกษุคง